AI计算平台的文件结构说明

​ 我们知道,在AI计算平台进行AI算法训练时,是以【项目】为载体,而在算法训练过程中,一个项目会包含以下的项目文件:数据集、代码、模型、任务的输出

​ 我们针对以上四种文件类型,进行了隔离存储,并提供在代码中便捷的访问他们:

文件夹 具体作用 读写权限
/data/$username/$dataset_name 用于存放名为$dataset_name的数据集 均可读,仅调试环境可写
/code 用于存放该项目中用户上传的代码 均可读,仅调试环境可写
/model/$username/$model_name 用于存放名为$model_name的预训练模型 均可读,仅调试环境可写
/output 用于存放该项目中某个任务的输出文件 均可读写
举个例子:

​ 比如创建一个项目"DogvsCat-test",在创建项目时,选择了数据集"DogvsCat",并选择预训练模型"ResNet"(这个数据集和模型是用户名为systemuser的用户公开发布的),然后上传了一个"main.py"的代码文件,那么此时:

  • main.py代码文件,将会放入项目的 /code 目录;
  • 在main.py文件中,如果需要获取DogvsCat数据集文件,需要使用 /data/systemuser/DogvsCat/… 的格式;
  • 在main.py文件中,如果需要获取ResNet模型中的文件,需要使用 /model/systemuser/ResNet 的格式;

在Jupyter作业下对文件的读写操作,需要注意:

  • 对code目录写入权限仅仅针对代码修改,如果在该目录下进行其它文件写入,如模型数据存储等操作,将不会被保存;
  • data以及model目录建议仅在需要进行解压文件等操作时进行写入;
  • 在代码执行期间生成的文件请统一保存在/output目录;
  • 每个任务都有独立的/output,任务训练完成后,可在【运行任务-output】下查看输出内容。

results matching ""

    No results matching ""